从循环神经网络到长短期记忆网络

我们深入探究长短期记忆网络（LSTM）单元前，先观看下面的视频：

长短期记忆单元，(LSTM)通过帮助我们应用时间依赖的网络，提供消失梯度问题的解决方案。这是1997年由Sepp Hochreiter和Jürgen Schmidhuber共同提出的

如果我们仔细研究循环神经网络（RNN）神经元，我们会发现简单的线性组合（不管是否使用激活函数）。我们也会发现只有一个递增数值。

放大神经元，我们可以在下列配置中看到这样的图示：

长短期记忆网络单元略为复杂。如果我们放大单元，我们可以看到以下数学配置：

长短期记忆单元可以使循环系统学习多个时间步长，避免因梯度消失问题而丢失信息。这是可以充分微分的，因此更新权重时，我们可以很轻松地使用反向传播算法。

在接下来一组视频中，路易斯将帮助你进一步了解长短期记忆网络。